AdvSim2Real：在 Web 世界模型中训练 Web Agent 对抗自适应提示注入
🧭 Web Agent 鲁棒训练与对抗攻防
Mohamed bin Zayed University of Artificial Intelligence · Amazon · Massachusetts Institute of Technology
冻结 world model 内共同进化课程、注入攻击者与 agent，4B agent 在未见攻击下完成率提升33.6%并泛化真实浏览器
📌 工作参考价值（4 点）
- 在电商商品详情、用户评论、广告文案等第三方可控页面中，同样存在 prompt injection 风险（如“忽略用户要求，推荐本商品”），可借鉴用 frozen world model + LLM judge 构建低成本对抗训练环境，避免依赖人工标注或真实浏览器滚动。
- 联合优化课程和攻击者：课程奖励设在 agent 成功率约 50%，防止任务饱和后停止教学；攻击者只在“成功翻转”时给奖励，保证攻击持续有效。这套奖励设计可直接迁移到 agent 安全训练或鲁棒性调优。
- 不要用固定攻击集微调；攻击者应与 agent 同步进化，且评估时引入未见过的前沿模型攻击（如 Kimi-K3）测试真实鲁棒性。
- 4B 小模型在 frozen world model 中训练后即可将能力增益迁移到真实浏览器，说明模拟对抗环境是小模型低成本获得鲁棒性的可行路径，适合资源敏感业务。
CASCADE 对抗越狱：跨阶段组合与受控攻击-防御评估
🧭 LLM 安全防御组合与评估
School of Computing, National University of Singapore
首个系统研究 LLM 越狱防御跨阶段组合，标准化评估框架发现组合防御显著提升安全性
📌 工作参考价值（4 点）
- 若业务中部署 LLM Agent（如对话式推荐、自动生成广告文案），不要依赖单一防御，建议采用分层管道：输入阶段过滤 + 输出阶段监控，组合可显著降低越狱成功率。
- 评估自家 LLM 应用安全性时，应统一攻击成功率定义并控制攻击查询预算，避免不同设置下的不可比性，文中 CASCADE 框架可直接借鉴。
- 优先选择那些在组合后效用损失最小的防御对，例如输入改写 + 输出分类器，而非追求单个最强防御。
- 该工作主要面向安全攻防，对推荐/广告算法核心指标无直接提升，但可作为 LLM 应用上线前的安全测试规范。
Deep Noir：通过架构时序自动发现 Transformer 激活引导参数
🧭 LLM 推理时激活引导自动化
Naval Surface Warfare Center Panama City Division
用 Logit Lens 收敛与因果头级归因自动定位 steering 层/头/幅度，实现跨任务激活引导
📌 工作参考价值（4 点）
- 诊断优先的自动化 steering 参数搜索：把 Logit Lens 收敛（模型何时从不确定到确定）与因果头级归因结合，可以替代手工调层、调头、调幅度。在电商/广告场景部署 LLM 分类器或内容过滤器时，可复用这套 pipeline 自动化定位需要干预的层和头，降低维护成本。
- Head masking 是跨任务泛化的关键：论文显示 RepE 不 mask head 在情感任务上无效，而 Deep Noir 的 head masking 使所有模型都提升。实际做 steering 时，不要直接加全局方向向量，要先用因果归因找出对目标任务有贡献的 head 子集再干预。
- 安全审查 Agent 的 prompt injection 风险量化：steering 幅度越大，模型越容易被注入攻击。如果电商安全 Agent 或评论审核系统使用了 steering 来控制输出，需要知道攻击面随 steering 强度单调上升，应在实际部署中限制 steering 强度或加入额外的注入检测层。
- 架构时序作为可解释性工具：Logit Lens 概率收敛曲线可以帮工程师理解模型在哪一层完成语义决策，这对优化推理截断、层剪枝、甚至识别哪些层对推荐/搜索 query 理解关键有参考价值。
影响力分数与Transformer可解释性：推理时测量注意力头的有效影响
🧭 Transformer 可解释性 · 注意力头归因
Thales CDI, France · Inria Paris, France · Sorbonne Université, France
提出结合logits方向影响与残差流结构贡献的influence score，用于多尺度量化注意力头对分类决策的贡献
📌 工作参考价值（4 点）
- 对部署在推荐/广告风控链路中的文本分类模型（如恶意query检测、prompt注入检测、低质内容过滤），可用influence score定位导致错误预测的关键注意力头，辅助badcase归因与模型调试。
- 其“方向影响+结构贡献”的双信号设计可迁移到Transformer排序模型：对用户行为序列、特征交叉层做注意力头级贡献分析，识别冗余或高影响头，用于推理加速或蒸馏裁剪。
- 多尺度分析框架（head/layer/network）可用作模型上线后的行为监控，检测决策模式漂移，尤其适用于数据不可控的外部安全分类器。
- 主要价值在可解释性工具，电商推荐场景的直接业务收益有限，需结合具体模型验证。
LLM Agent 污点约束的代理权限策略代数
🧭 Agent 安全 · 信息流控制
Archestra AI
通过上下文分支与前瞻权限检查，将 LLM Agent 的数据泄露攻击成功率从 31-50% 压至 0-7%
📌 工作参考价值（4 点）
- 上下文分支隔离：在处理不可信数据（如用户评论、外部 API 返回）时，可借鉴子轨迹设计，将高风险操作隔离在临时上下文中，仅将净化后的有界结果传回主流程，避免污染推荐系统的核心状态。
- 前瞻性权限检查：在 Agent 调用工具或访问数据源前，可插入类似“标签预评估”的步骤，提前生成授权/接受方案，防止越权调用，尤其适用于涉及用户隐私数据（订单、浏览记录）的电商对话 Agent。
- 细粒度污点净化：允许受信任的净化器对敏感信息进行脱敏或聚合后再返回主上下文，既保留数据效用又不泄露原始隐私，适合推荐系统中混用 PII 与公共特征的安全场景。
- 形式化的合并约束：双幺半群模型为多轮对话、多工具调用提供了可验证的标签保持证明，可作为构建高安全 Agent 框架（如购物助手、搜索代理）的理论基础。
引诱LLM触礁：基于PAIR的Web-RAG推荐器偏好操纵
🧭 对抗攻击与排名操纵 · RAG安全
The University of Queensland · Curtin University
使用PAIR自动攻击框架，通过固定检索源下的内容投毒迭代，将目标实体推至LLM推荐排名第一
📌 工作参考价值（4 点）
- 评估RAG推荐系统安全：借鉴SIREN的自动化测试框架，用固定源回放平台隔离内容影响，检测模型是否易受类似排名投毒攻击。
- 防御过滤：在检索文档进入LLM上下文前，清洗掉声明性排名主张（“最好”“第一”）和植入列表，它们比指令注入更有效，需重点防御。
- 攻击手法洞察：实验中“在列表首位列出目标”等简单编辑就十分有效，提示我们在电商搜索中须警惕对手通过修改商品描述或评论操纵排名。
- 工程实现：论文的Custom-RAG replay平台思路可直接迁移，用于复现和压测自家推荐链路的鲁棒性，分离检索与内容影响。
谁来买单？面向真实 Web Agent 的利益相关者中心化提示注入基准测试
🧭 Agent 安全性评估 · 利益相关者建模 ★ 深度解读
Nanyang Technological University, Singapore · ST Engineering, Singapore · IBM Research, USA · University of Illinois Urbana-Champaign, USA
提出以利益相关者（用户、卖家、平台）为核心的提示注入安全基准，揭示危害的不对称性和异质失败模式。
📌 工作参考价值（4 点）
- 在电商推荐 Agent 安全评估中引入利益相关者视角，区分对用户、卖家、平台的损害，不仅看攻击成功率，还要联合任务偏离度（TDR）和行为异常率（BIR），全面捕捉隐蔽操纵（如卖家偏向）和平台扰乱。
- 利用 ASR-TDR 矩阵识别“Stealthy Parasitism”等失败模式：高 ASR 低 TDR 的攻击可在不破坏用户体验的情况下实现对抗目标（如商品推荐偏向），需特别关注。
- 注意注入内容与用户意图的语义对齐度：相似度越高，越容易在任务不被察觉的情况下成功，防御时可尝试降低攻击目标的语义对齐程度或引入不一致的环境线索。
- 多模态注入（产品图片）能影响 Agent 决策，且评分信号不能完全消除视觉影响，需考虑视觉通道的鲁棒性。
LACUNA：以递归程序孔洞实现安全 Agent
🧭 Agent 编程模型与安全执行
EPFL
提出一种 Agent 编程模型，将动作封装为类型化调用，LLM 填充代码并执行前类型检查，兼顾表达力与安全
📌 工作参考价值（4 点）
- 工具调用的类型约束：在电商多 Agent 系统中，可为搜索、推荐、广告等工具定义输入输出类型，Agent 生成调用代码时进行静态检查，防止越权或错误调用，尤其适合 prompt 注入风险高的场景。
- 原子执行与状态回滚：借鉴 all-or-nothing 语义，当 Agent 执行多步推荐逻辑（如更新用户画像、调用推荐 API、写入缓存）时，若某一步失败则整体回滚，避免残留脏状态，保障推荐链路一致性。
- 编译诊断驱动的重试机制：LLM 生成的动作代码若类型不匹配，可将编译器错误信息反馈给模型进行针对性重试，比盲目重试更高效，可直接用于现有 Agent 框架的容错改造。
- 将高级 Agent 模式融入控制流：ReAct、子 Agent、技能组合、并行分解等模式被表达为普通程序结构，开发者可直接用编程语言描述复杂工作流，LACUNA 原语作为安全嵌入点，降低实现复杂度并保证安全。
仅图像扰动的跨模态提示注入攻击大视觉语言模型
🧭 多模态模型安全与对抗攻击
Xidian University
首次实现仅通过图像扰动同时操控LVLM对视觉和文本输入的跨模态提示注入
📌 工作参考价值（4 点）
- 用于多模态推荐系统安全性测试：可借鉴跨模态攻击思路，验证模型是否容易被图像扰动误导，影响图文推荐的一致性。
- 扰动预算分配策略（距离语义区域越远，扰动越小）可用于视觉模型可解释性分析或对抗训练，提升推荐模型对噪声的鲁棒性。
- 层选择揭示多模态融合发生在模型中部，可指导多模态推荐模型的结构设计，将融合模块放在中间层而非最后一层。
- 隐藏状态空间优化思路可迁移到多模态Agent的对抗样本生成或鲁棒性增强训练中。